Samsung ra mắt bộ nhớ HBM3E dành cho AI

Samsung vừa công bố DRAM HBM3E 12H, một loại bộ nhớ mới có dung lượng cao hơn và hiệu suất tốt hơn so với các thế hệ trước. HBM là viết tắt của "bộ nhớ băng thông cao" và nó được sử dụng cho các ứng dụng đòi hỏi tốc độ truyền dữ liệu nhanh, chẳng hạn như đào tạo và suy luận AI.

HBM3E 12H có thể xếp chồng lên nhau 12 chip DRAM, cho phép dung lượng lên tới 36GB, cao hơn 50% so với thiết kế 8 chip. Samsung sử dụng công nghệ TC NCF (Phim không dẫn điện nén nhiệt) mới giúp cải thiện khả năng tản nhiệt và hiệu suất của bộ nhớ.

Bộ nhớ HBM3E 12H được sử dụng cho các máy gia tốc AI như Nvidia H200 Tensor Core. Máy gia tốc AI cần nhiều bộ nhớ để xử lý lượng dữ liệu khổng lồ trong quá trình đào tạo và suy luận.

Theo ước tính của Samsung, công suất bổ sung của thiết kế 12H mới sẽ tăng tốc độ đào tạo AI lên 34% và sẽ cho phép các dịch vụ suy luận xử lý số lượng người dùng “hơn 11,5 lần”.

Sự bùng nổ AI sẽ khiến các máy gia tốc như H200 có nhu cầu cao, do đó, việc trở thành nhà cung cấp bộ nhớ là hoạt động kinh doanh sinh lợi – bạn có thể hiểu tại sao các công ty như Micron, Samsung và SK Hynix lại muốn có một miếng bánh.

Samsung HBM3E 12H là một bước tiến quan trọng trong việc phát triển bộ nhớ cho AI. Loại bộ nhớ này sẽ giúp tăng tốc độ đào tạo và suy luận AI, đồng thời giảm chi phí cho các trung tâm dữ liệu.

Ngoài ra, việc Samsung ra mắt HBM3E 12H cũng cho thấy sự cạnh tranh ngày càng gay gắt trong thị trường bộ nhớ cho AI. Các công ty khác như Micron và SK Hynix cũng đang phát triển các loại bộ nhớ HBM thế hệ tiếp theo của riêng họ.

Sự cạnh tranh này sẽ thúc đẩy sự đổi mới và dẫn đến những sản phẩm tốt hơn cho người dùng.